Hoạt động trong lĩnh vực âm nhạc từ năm 1975, ông đã có một sự nghiệp solo rất thành công trong những năm 1980, và từng là một thành viên của nhóm bộ ba Fredericks Goldman Jones, phát hành một chuỗi hit khác vào những năm 1990.

Ông cũng viết nhiều album và bài hát thành công cho nhiều nghệ sĩ, trong đó có D'eux của Céline Dion, đây là đĩa hát tiếng Pháp thành công nhất cho đến nay. Ông cũng là thành viên của nhóm từ thiện Les Enfoirés từ năm 1986 đến năm 2016, và bản audio diễn thuyết bằng tiếng Anh của ông đã giành được giải Grammy cho Album của năm vào năm 1997, với tư cách là đồng tác giả của ba bài hát trong CD Falling into You của Céline Dion. Mặc dù tự nguyện từ giã sân khấu âm nhạc vào đầu những năm 2000, ông vẫn được đánh giá cao và có tầm ảnh hưởng ở Pháp.

Sinh ra tại Paris với cha là người Ba Lan gốc Do Thái nhập cư, Alter Mojze Goldman (sinh ở Lublin) và mẹ là người Đức gốc Do Thái, Ruth Ambrunn (sinh ở Munich), Jean-Jacques Goldman là con thứ ba trong số bốn người con. Khi còn là một đứa trẻ, ông đã bắt đầu nghiên cứu âm nhạc của mình về violin, sau đó là piano. Năm 1968, ông bỏ dở việc học nhạc cổ điển để chuyển sang "American Rock & Roll" cũng như nhạc dân gian, nghe The Beatles, Jimi Hendrix hay Aretha Franklin nhưng cuối cùng ông lại chọn bộ môn guitar. Năm 1972, ông kết hôn với Catherine, người vợ đầu của ông và họ đã có với nhau ba người con. Ông lần đầu tiên bước chân vào làng nhạc Pháp với tư cách là thành viên của nhóm nhạc progressive rock ở Việt Nam tên là Tai Phong (nghĩa là "cơn gió lớn" hay "bão táp") cùng với Khánh Mai và Tài Sinh, họ đã cùng phát hành album đầu tiên vào năm 1975 và bản hit "Sister Jane”. Sau ba album bằng tiếng Anh (vừa hát vừa chơi guitar vừa chơi violin), Goldman quyết định rời bộ ba và thực hiện sự nghiệp âm nhạc hát solo riêng qua những bản nhạc do chính ông tự sáng tác, viết lời và thể hiện bằng tiếng Pháp.